AI Papers Daily

#Compositional Reasoning

5 篇

CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation

通过重排器蒸馏提升 MLLM 嵌入的组合推理能力

🧭 多模态嵌入蒸馏 · 组合推理检索

CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University

将重排器的跨注意力组合判断蒸馏为 Rank-KL listwise 目标，显著提升多模态嵌入的组合检索与细粒度区分

📌 工作参考价值（4 点）

• 双塔召回或 embedding 模型训练时，用 reranker 作为 teacher 做 listwise 蒸馏，Rank-KL 目标比传统 contrastive/pairwise 更能传递细粒度排序结构；电商图文相关性、属性绑定问题可直接复用。
• 五级匹配粒度（完全匹配/部分出现/属性错/对象错/全错）适合挖掘商品主图与 query 的难负样本：例如“红色条纹衬衫”与“蓝色条纹衬衫”应作为属性错误而非随机负样本，提升 embedding 对属性-对象组合的判别。
• 评估上不建议只看 Recall@K，可以按 L1-L5 错误类型分级统计，定位模型在绑定关系上的盲区；搜索/推荐中可迁移到 query-主图/标题-属性一致性评测。
• 工程上 teacher reranker 只在训练阶段蒸馏，推理仍用双塔 embedding，不增加线上 latency；注意需要统一数据构造和调优预算才能公平对比不同训练目标。

Multimodal | 2026-09-02 | HF Daily | score 6/10

MLLM EmbeddingReranker DistillationRank-KLCompositional ReasoningCross-modal RetrievalListwise Training

From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

从原子证据到逻辑组合：复合答案选项的结构化组合推理

🧭 LLM 结构化组合逻辑推理

University of Colorado Boulder

将复合选项分解为原子判断并用整数规划组合，大幅提升 LLM 在 AND/OR/NEITHER-NOR 逻辑题上的表现

📌 工作参考价值（4 点）

• 在电商搜索/推荐中，用户 query 常隐含 AND/OR/NOT 组合（如“红色且不是羽绒服”），可直接借鉴本框架：先对每个原子条件独立打分，再用约束求解器组合，避免让 LLM 直接处理复合条件。
• 对 Agent 决策中的规则匹配（如同时满足多个商品属性、排除某些类目），可将复合条件拆成原子判断，分别用对比假设校准每个原子，然后用整数规划做最终决策，提升逻辑一致性。
• 对于多条件排序/召回场景，可以在召回后增加一层逻辑组合重排：用 LLM 对单个条件打分，再用 ILP 约束组合，替代直接让模型输出复合判断，减少 NEITHER/NOR 类负向组合的错误。
• 该工作证明了“分解-校准-组合”的范式在逻辑推理上的有效性，可用于构建电商问答中复合查询的理解模块，尤其是需要处理排他性条件时。

Reasoning | 2026-08-12 | HF Daily | score 6/10

LLMLogical ReasoningCompositional ReasoningInteger Linear ProgrammingMCQCalibration

RL Post-Training Builds Compositional Reasoning Strategies

RL后训练构建组合性推理策略

🧭 RL后训练组合推理策略机制

Gatsby Computational Neuroscience Unit, UCL

RL后训练能将基础模型的原始技能组合为新的高级推理策略，而拒绝微调易陷入停滞。

📌 工作参考价值（4 点）

• 在需要多步推理的业务场景（如 Agent 自动构建搜索策略、多跳问答、动态推荐流程），采用 RL 后训练比拒绝采样微调更可能组合出高级策略，可复现性地提升难以通过采样突破的任务成功率。
• RL 探索的选择性很关键：RFT 常生成无效捷径，而 RL 能集中探索有效且可复用的结构。实践中可借鉴引入过程监督或结构先验来过滤无效探索，提升训练效率。
• 预训练阶段的技能组织方式直接影响后训练的组合能力：在电商/推荐模型中，若预训练只堆砌原始特征交互，RL 难以将其组合为可靠推理；应在预训练时通过课程或任务设计让模型先掌握可被压缩的原子过程。
• 组合策略出现具有阶段性（先强化原语，再发现组合），提示我们可以在 RL 早期加入辅助奖励或先验来加速这一过程，例如在 Agent 训练中先强化基础工具调用，再组合成复杂工作流。

Reasoning | 2026-07-08 | cs.CL | score 7/10

Reinforcement LearningCompositional ReasoningPost-trainingRejection Fine-tuningSymbolic ReasoningTransformers

Operads for compositional reasoning in LLMs

LLM组合推理的Operad数学框架

🧭 LLM多步推理的形式化数学框架

Incubilate · Allen Institute for Artificial Intelligence

用Operad代数形式化问题分解，提出Operadic一致性度量，可预测多步推理准确性

📌 工作参考价值（4 点）

• 在电商问答、多跳查询中，可计算Operadic一致性来监控推理链路可靠性，替代单纯依赖输出概率或自洽性。
• 一致性得分与准确率强相关，可作为无监督信号筛选更优的分解模板或中间答案，降低人工标注成本。
• 将推理步骤抽象为操作数，便于设计模块化、可复用的推理流水线，适配不同业务逻辑的组合。
• 该框架不限于QA，可用于任何需要组合子任务的多Agent协作或推荐解释生成，提供统一的数学语义。

Reasoning | 2026-06-11 | cs.CL | score 7/10

OperadsQuestion DecompositionCompositional ReasoningConsistencyMulti-hop QALLM Evaluation

Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

用自生成多样化解题轨迹增强大语言模型的强化学习推理

🧭 自生成多样化解题轨迹增强RL推理 ★ 深度解读

Arizona State University · Google Cloud AI Research · Google DeepMind

自生成多样化解题轨迹指导中期训练，提升后续强化学习的推理性能和策略组合能力

📌 工作参考价值（4 点）

• 在RL微调前，用启发式提示生成多种正确推荐理由或对话策略，进行多样化监督训练，可拓宽探索空间并提升RL最终性能。
• 借鉴“固定训练量下，多样化比增加任务数更有效”的结论，在生成数据时，为同一用户或商品生成多个正确但风格不同的响应，而非追求更多样本。
• 使用规则验证器+奖励模型筛选自生成数据，可确保多样性与正确性的平衡，可用于Agent多智体协作策略生成。
• 理论分析指出多模态策略分布有助于梯度更新，可在策略网络中设计多分支输出或温度控制，避免模式崩塌。

Training | 2026-05-07 | HF Daily | score 8/10

Mid-TrainingSelf-Generated DataReinforcement LearningCompositional ReasoningPolicy GradientMathematical Reasoning